Ngày 7 tháng 2 năm 1980, ông thôi giữ chức Bộ trưởng Bộ Quốc phòng[75] nhưng vẫn tiếp tục giữ chức Ủy viên Bộ Chính trị (đến năm 1982) và Phó Thủ tướng phụ trách Khoa học - Kỹ thuật. Người thay thế ông ở Bộ Quốc phòng là Đại tướng Văn Tiến Dũng - Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam. Văn Tiến Dũng là một trong những lãnh đạo quân đội lâu năm nhất cùng thời với Võ Nguyên Giáp, và cũng là chỉ huy trực tiếp của Chiến dịch Mùa Xuân năm 1975.[76]

Từ cuối thập niên 1970, Việt Nam đứng trước nguy cơ bùng nổ dân số. Tư tưởng cho rằng phải sinh đẻ thật nhiều để bù đắp sự tổn thất về người trong chiến tranh vẫn tồn tại dù chiến tranh đã kết thúc, cùng với hàng triệu nam thanh niên xuất ngũ trở về lập gia đình đã khiến dân số Việt Nam tăng nhanh. Đây là một vấn đề nghiêm trọng với Việt Nam lúc bấy giờ. Lần đầu tiên, các chỉ tiêu về dân số được đưa vào Nghị quyết Đại hội đại biểu toàn quốc của Đảng năm 1981. Nhận thức rõ tầm quan trọng cùng với sự khó khăn, phức tạp của công tác này, năm 1984, Hội đồng Bộ trưởng quyết định thành lập Ủy ban quốc gia dân số và sinh đẻ có kế hoạch với mục tiêu kiểm soát mức sinh tại Việt Nam. Võ Nguyên Giáp khi đó là Phó Thủ tướng phụ trách Khoa học - Kỹ thuật được phân công kiêm nhiệm chức chủ tịch ủy ban này (cùng với 3 Bộ trưởng các Bộ và Tổ chức khác làm phó cho ông).[77]

Trong văn hóa Việt Nam khi đó, chuyện sinh đẻ bị coi là chuyện tế nhị của riêng phụ nữ, việc đàn ông tham gia phụ trách công tác này bị nhiều người Việt Nam khi đó coi là "mất thể diện". Cũng vì thế mà có những dư luận khi đó đồn thổi rằng các lãnh đạo khác "ghen tị" với tài năng và công lao của Võ Nguyên Giáp nên đã chuyển ông sang làm phụ trách ủy ban sinh đẻ có kế hoạch nhằm "hạ uy tín" ông. Lời đồn thổi đó lan truyền dai dẳng tới hàng chục năm sau, có người còn làm bài vè để châm biếm chuyện này. Nhưng thực ra những lời đồn thổi này là không có căn cứ. Dư luận khi ấy chỉ chú ý đến Tướng Giáp mà bỏ qua một loạt các thành viên quan trọng khác như 01 Phó Thủ tướng, 10 Bộ trưởng, lãnh đạo các ban ngành cũng tham gia ủy ban này. Ngoài ra, không chỉ Đại tướng Võ Nguyên Giáp mà cả hai Thủ tướng khác của Việt Nam là Phạm Văn Đồng và Võ Văn Kiệt cũng từng phụ trách công tác sinh đẻ kế hoạch này (Phạm Văn Đồng phụ trách giai đoạn 1961-1975, Võ Văn Kiệt phụ trách giai đoạn 1987-1991, ngay sau Võ Nguyên Giáp). Việc có tới 2 thủ tướng trực tiếp phụ trách cho thấy tầm quan trọng của công tác kế hoạch hóa gia đình khi đó.

Ông Trần Văn Thìn, người trợ lý thân cận của Đại tướng Võ Nguyên Giáp suốt 21 năm, kể lại "Lúc sang Ủy ban Dân số kế hoạch hóa gia đình, dư luận bàn ra tán vào chuyện đó thế nào, Đại tướng biết cả. Ông nói với chúng tôi trong sinh hoạt chi bộ: Đảng đã phân công, mình là Đảng viên thì phải cố gắng hoàn thành tốt nhiệm vụ...” Trong một lần nói chuyện, Đại tướng cũng đã từng cho hay: "Tôi đã cống hiến một cách tự nguyện, đã thanh thản trong mọi thử thách, thế là tôi sống vui, sống lâu... Như vậy, tôi đã làm theo lời dạy và noi theo tấm gương của Bác Hồ là “Dĩ công vi thượng”. Tôi nhận nhiệm vụ và tôi hoàn thành nhiệm vụ. Ngay cả việc phụ trách công tác sinh đẻ có kế hoạch cũng là nhiệm vụ"[78]

Nhà sử học Dương Trung Quốc từng mạnh dạn hỏi Đại tướng Võ Nguyên Giáp về những lời đồn thổi rằng việc giao cho ông phụ trách ủy ban sinh đẻ kế hoạch là để "hạ uy tín" ông. Đáp lại thắc mắc của ông Dương Trung Quốc, Đại tướng Võ Nguyên Giáp đã cười và nói đó là do Thủ tướng Phạm Văn Đồng (người từng làm trưởng ban sinh đẻ kế hoạch suốt 15 năm trước đó) quá bận việc nên trực tiếp nhờ cậy ông làm giúp, chứ chẳng hề có "âm mưu" nào như dư luận đồn thổi cả: